﻿ Extinderi pentru cazul estimării unui parametru vector Dacă sunt de estimat mai mulți parametri (în număr de p) putem organiza acești parametri sub forma unui vector Fiecare din cei p parametri are un estimator Cei p estimatori se organizează, și ei, sub forma unui vector TT ˆˆˆ ˆ⎡ ⎤ ⎡⎤ θ =θ θ = θ 12 pθθ 12 pθθ ⎣⎦ ⎣⎦ Media statistică a estimatorului vector este vectorul ce are ca și componente mediile statistice ale componentelor estimatorului vector Dacă fiecare dintre cei p estimatori scalari este nedeplasat, adică ˆ⎡⎤ {} 1Eθ ⎡⎤ ⎢⎥ 1θ ⎢⎥ ˆ⎢⎥ θ {} 22Eθ ˆ⎢⎥ E⎢⎥ ===θθ {} ⎢⎥ ⎢⎥ ⎢⎥ ⎢⎥ θ ˆp⎣⎦ ⎢⎥ {} pEθ ⎣⎦ se spune că estimatorul vector este nedeplasat și se scrie că ˆ θθ E= } 1{ Teorema Cramer-Rao pentru parametrul vector are următorul enunţ: ;pxθ satisface condiţia de regularitate: Dacă () xθ ln ;p∂ ⎧⎫ () 0θ ∀ E=, ⎨⎬ θ ∂ ⎩⎭ atunci: 1− −≥CIθ0 () ˆ θ în sensul că matricea din stânga este pozitiv semidefinită Cu I(θ) se notează matricea de informație Fisher, de dimensiuni p*p, ale cărei elemente sunt 2 1, 2, ,ln ;ipp⎧⎫ = ∂ xθ () ⎪⎪ E⎡⎤; I θ =− () ⎣⎦ ,ij⎨⎬ 1, 2, ,jpθθ ∂∂ ij= ⎪⎪ ⎩⎭ 2 1 Se poate găsi un estimator nedeplasat ce are dispersia minimă – adică este un estimator vector MVU eficient – dacă şi numai dacă: ln ;p∂xθ () f−I θx θ ⎡⎤= () () ⎣⎦ θ ∂ din care rezultă forma estimatorului și matricea sa de covarianță ˆ1− CIθ ) f=θx( () ˆ= θ ∗∗∗ “Inegalitatea matricială” are doar un caracter simbolic Ea afirmă că matricea din stânga este pozitiv semidefinită O astfel de matrice are elementele de pe diagonala principală nenegative, adică 1− ˆ ⎡⎤ − 0Dispθ≥I θ () {} ,iii⎣⎦ Această inegalitate scalară definește limita inferioară Cramer-Rao pentru fiecare componentă din vectorul estimator, adică 1− ˆ ⎡⎤ = Disp CRLBθ≥I θ () 3{} ,iiii⎣⎦ Un exemplu în care modelul de semnal este o componentă continuă, necunoscută, afectată aditiv de un zgomot alb, gaussian cu dispersia necunoscută ; 0,1, , 1xn A wn n N=+=− [][] 2 N 0,wnσ∼ [] () Avem p=2 necunoscute, pe care le punem sub forma unui parametru vector A⎡ ⎤ =θ ⎢⎥ 2 σ ⎣⎦ Vectorul de date este gaussianși are densitatea de repartiție, dependentă de parametrul vector, de forma 1N− 211⎧ ⎫ xθ ;exppxnA=− − () [] () ⎬ ∑ 2N⎨ 202nσ = ⎩⎭ 2πσ ) ( Considerând că datele sunt cunoscute și introduse în relația anterioară se obține plauzibilitatea care logaritmată conduce la 1N− 21NN 2 =− − − −xθ ln ; ln 2 lnpxnAπσ [] () 4() 2∑ 0222nσ = 2 Matricea de informaţie Fisher este, pentru acest exemplu, de forma 22 ⎧⎫⎧ ⎫ xθxθ ∂∂ ln ; ln ;pp⎡⎤ () () ⎪⎪⎪ ⎪ ⎢⎥ ⎨⎬⎨ ⎬ 22EE−− AAσ ∂∂∂ ⎢⎥ ⎪⎪⎪ ⎪ ⎩⎭⎩⎭ I θ = () 22⎢⎥ ⎫⎧ ⎫ xθxθ ln ; ln ;pp⎧ ∂∂ ()() ⎪⎪⎪ ⎪ ⎢⎥ ⎬⎨ ⎬ 22EE−− ⎢⎥ 2⎨ Aσ ∂∂ σ ∂ ⎪⎪⎪ ⎪ ⎩⎭⎩⎭ ⎣⎦ Pentru a determina elementele matricei vom deriva plauzibilitatea logaritmică, după cum urmează: 1N− ln ;1p∂xθ () xnA=− [] () 2∑ ∂ = 0nAσ 1N− xθ 2ln ;1pN∂ () + − xnA=− [] () 224∑ ∂ σ 022nσσ = 21N− ln ;1pN∂xθ () 1=− =− 22 2∑ ∂ σ 0nAσ = 5 221N− ln ; ln ;1pp∂∂xθxθ ()() xnA==− − [] () 224∑ ∂∂ ∂ ∂ σ = 0nAAσσ 21N− xθ 2ln ;1pN∂ () − [] () 246xnA=− 2∑ 02nσσ = σ ∂ Pentru a efectua medierile statistice cerute de determinarea elementelor matricei Fisher, vom ţine seama de următoarele medii evidente 0Exn A Exn A A A− = −=−= [][] {}{} 22 2 Exn A Ewnσ−= = [][] ()() {}{} 6 3 şi obţinem următoarele: 2 ∂ ln ;pN⎧⎫ xθ () ⎪⎪ E−= 22⎨⎬ Aσ ∂ ⎪⎪ ⎩⎭ 21N− ln ;1p⎧⎫xθ ∂ () ⎪⎪ 0EExnA−= −= [] {} ∑ 24⎨⎬ ∂∂ 0nAσσ = ⎪⎪ ⎩⎭ 21N− xθ ∂ 2ln ;1pN⎧⎫ () ⎪⎪ −+− [] () ∑ 246EExn A−= {} 2⎨⎬ σ 02nσσ = ∂ ⎪⎪ ⎩⎭ NNN + = =−44 4 σ 22σσ 7 Cu cele determinate matricea Fisher şi inversa ei devin 2 N⎡⎤ ⎡⎤ σ 00 ⎢⎥ 2⎢⎥ σ 1N− ⎢⎥ =I θ ⎢⎥ = I θ () () N4⎢ ⎥ ⎢⎥ 2σ 0 0 4⎢⎥ ⎢⎥ 2σ ⎣⎦ N⎣ ⎦ Un alt exemplu în care întâlnim p=2 parametri este cel al modelului de semnal determinist A+Bn, afectat aditiv de un zgomot alb, gaussian 2 ; 0, ; 0,1, , 1xn A Bn wn wn n Nσ=+ + = −∼N [][][] () Se consideră problema estimării parametrilor A şi B ce formeză parametrul vector A⎡ ⎤ =θ ⎢⎥ B ⎣⎦ Odată ce datele x[n] sunt cunoscute (măsurate), se determină plauzibilitatea logaritmică 1N− 21 =− − − −xθ ln ; ln 2pN xnABnπσ [] () () 8() 2∑ 02nσ = 4 şi derivatele ei de ordinul doi, în raport cu A şi B 1N− ln ;1p∂xθ () xnABn=− − [] () 2∑ ∂ = 0nAσ 1N− ln ;1p∂xθ () − xnABnn=− [] () 2∑ ∂ = 0nBσ 21N− ln ;1pN∂xθ () =− ∑ 22 21=− ∂ σ = 0nAσ 21N− ln ; 111pNN∂−xθ ()() n=− =− 22∑ ∂∂ = 02nABσσ 21N− −xθ ()()() 2ln ; 1 2 111pNNN∂− n=− =− 22 2∑ ∂ 906nBσσ = Aceste derivate nu depind de datele x[n] aşa că nu mai este necesară medierea statistică Se determină matricea de informaţie Fisher şi inversa ei 1NNN− ⎡⎤ () 22⎢⎥ 2σσ ⎢⎥ = I θ () 1121NN NN N⎢⎥ −−− ()()( ) 22⎢⎥ 26σσ ⎣⎦ 22 ⎡⎤ 2216Nσ − () σ − ⎢⎥ 11NN NN++ () () ⎢⎥ 1− = I θ () ⎥ 22⎢ 612σσ − ⎢⎥ 2 ⎥ 11NNNN⎢ + () − () ⎣⎦ Elementele de pe diagonala principală a matricei inverse sunt limitele Cramer- Rao pentru dispersiile estimatorilor parametrilor necunoscuţi A şi B Avem deci inegalităţile 22 221Nσ−12σ () ˆˆ ≥ Disp B Disp A≥ {} {} 2 1NN+ 1NN− 10() () 5 Vom aplica acum partea a doua a teoremei Cramer-Rao Pentru aceasta construim 1N− ⎤ 1ln ;p⎡ ∂⎡⎤ xθ () [] () ∑ ⎢⎥ 2xnABn−− ⎢⎥ ∂ xθ () ∂ 0ln ;npAσ = ⎢⎥ ⎢⎥ == 1N− ⎥ ∂ θ ln ;1p⎢ ∂ xθ ⎢⎥ () [] () ⎢⎥ ∑ ⎢⎥ 2xnABnn−− ∂ ⎣⎦ 0nBσ = ⎣⎦ Dacă expresia din membrul stâng este o funcţie ce depinde numai de date, nu şi de parametrii necunoscuţi A şi B, atunci ea este chiar estimatorul vector ∂xθ () 1ln ;p− f+=Iθθx ()() θ ∂ Prin calcul direct obţinem 122 16NN− ⎡− ⎤ () − ⎡⎤ xnABn⎢⎥ −− [] () ∑ ⎢⎥ ++ ()() ∂ xθ () = ⎢⎥ 10211ln ;1nNN NNp− ⎢⎥ = I θ () 21Nσ ⎢⎥ − − 612σ ⎢⎥ θ ∂ −− [] () ⎢⎥ ∑ 2xnABnn⎢⎥ + () − ⎢⎥ () 011nNNNN= ⎣⎦ ⎣⎦ 1N− 1NN− ⎡⎤ () [] −− 21 3xn AN BN−− ⎡⎤ ∑ ⎢⎥ 022n= ⎢⎥ ⎢⎥ = 16N− ⎢⎥ 131121NNNN NN N⎢⎥ + − −−− () ()()( ) 1nx n A BN−− − ⎣⎦ [] ⎢⎥ ∑ 026n= ⎣⎦ ⎤ 1112L⎡ = ⎥ ⎢ () 21LNN+ ⎦ ⎣ unde 11NN−− − − − ()() [] [] ∑∑ 121 3 21LN xn nxnANN=− 00nn== 31211 211NN N N N N N N−−− −− ()()()() () AB B+− + 22 2 11NN−− 1NN+ () 21 3NxnnxnA=− − − () [] [] ∑∑ 002nn== 11NN−− 316NN− () + + − + − − () [][] ∑∑ 233321L xn nxn AN AN B BN N=− − 0012nnN== 11NN−− 16NN+ () 3xn nxn B=− + − [][] ∑∑ − 0012nnN== 12 6 Rezultă că ∂xθ ⎡⎤ () 11ln ;2Lp− I θ = () ⎢⎥ θ () 21LNN∂+ ⎣⎦ 11NN−− 1NN+ ⎡⎤ () 21 3NxnnxnA−− − () [] [] ∑∑ ⎢⎥ 0022nn== ⎢⎥ = 11NN−− 116NNNN⎢⎥ + + () () 3xn nxn B−+ − [][] ⎢⎥ ∑∑ − 0012nnN== ⎣⎦ Dacă din membrul drept se separă vectorul de date obţinem 11NN−− ⎡⎤ 21 3Nxnnxn−− () [] [] ∑∑ ⎢⎥ ∂ xθ ⎡⎤ () 001ln ;2nnAp== − ⎢⎥ I θ =− () ⎢⎥ 11NN−− θ 16BNN∂+ ⎢⎥ () ⎣⎦ 3xn nxn−+ [] [] ∑∑ ⎢⎥ − 001nnN== ⎣⎦ 13 din care rezultă că expresia discutată este o funcţie vector ale cărei componente depind numai de date, nu şi de parametrul necunoscut Această funcţie este estimatorul sub formă de vector 11NN−− ⎡⎤ 21 3Nxnnxn−− () [] [] ∑∑ ⎢⎥ ∂ xθ () 001ln ;2nnp== − += = f⎢⎥ Iθθx ()() 11NN−− 16NN∂+ θ ⎢⎥ () 3xn nxn−+ [] [] ∑∑ ⎢⎥ − 001nnN== ⎣⎦ Cei doi estimatori scalari pentru A şi B, respectiv, sunt 11NN−− 22 16N− () ˆ Axn nxn=− [][] ∑∑ ++ ()() 0011nnNN NN== 11NN−− 612 ˆ Bxn nxn=− + [][] 2∑∑ + () − = 0011nnNNNN= 14() 7 Fiind satisfăcute cerinţele teoremei Cramer-Rao, rezultă că cei doi estimatori sunt şi eficienţi adică dispersiile lor sunt egale cu limitele inferioare Cramer-Rao 22 221Nσ− 12σ () ˆˆ Disp B = Disp A= {} {} 2 1NN+ 1NN− () () Uneori nu suntem interesaţi direct de estimările parametrilor necunoscuţi ci de mărimi derivate din acestea Fie că suntem interesaţi de r mărimi, organizate ca vector g=αθ ) ( 11rp×× ce depind de cei p parametri necunoscuţi prin funcţia vectorială g Atunci matricea pozitiv semidefinită din corpul teoremei Cramer-Rao este T ∂∂θθ ⎡⎤ () () 1gg− CIθ 0≥− () ⎢⎥ ˆα θθ ∂∂ 15⎣⎦ Funcţia g şi derivata ei în raport cu vectorul parametrilor, θ, sunt θθ θ ∂∂ ∂⎤ ()()() 11 1gg g⎡ ⎢⎥ θ ∂∂ ∂ 12pθθ ⎢⎥ θ () 1g⎡⎤ ⎢⎥ θθ θ ∂ ()()() ⎢⎥ 22 2gg g∂∂ ⎢⎥ θ θ () () 2gg∂ ⎢⎥ ∂∂ ∂ θ θ ⎢⎥== () 12;pgθθ ⎢⎥ θ ∂ ⎢⎥ ⎢⎥ ⎥ θ g⎢ () ⎢⎥ ⎣⎦ 1rr× ⎢⎥ ∂ θθ θ ()()() rr rgg g∂∂ ⎢⎥ θ ∂∂ ∂ ⎢⎥ 12pθθ ⎣⎦ rp× Vom relua exemplul pentru cazul în care modelul de semnal este al componentei continue afectate aditiv de un zgomot alb, gaussian Parametrii necunoscuţi sunt componenta continuă şi dispersia zgomotului Ne interesează nu să estimăm valorile celor doi parametri ci o mărime derivată α, raportul semnal/zgomot, SNR 2 2θ A⎡⎤ A1 gα==θ () = θ 1rα== 11× () ⎢⎥ 221× 2θ σ σ 2 ⎣⎦ 16 În acest exemplu, α este un scalar 8 Calculăm derivata funcţiei g în raport cu vectorul θ 22 ⎡⎤ ⎛⎞ ⎛⎞ ⎡⎤ gggθθ ∂∂∂ θθθ ()()() 11∂∂ == ⎢⎥ ⎜⎟ ⎜⎟ ⎢⎥ ⎜⎟ ⎜⎟ ∂∂∂ ∂ ∂ θθ θθθθ θ ⎥ ⎣⎦ 12 1222⎢ ⎝⎠ ⎝⎠ ⎣⎦ 22 2 ⎛⎞ ⎛⎞⎡ ⎤ 2AAAA⎡⎤ ∂∂ == − ⎜⎟ ⎜⎟ ⎢⎥ 222 24⎢⎥ Aσσ ∂ σ σσ ∂ ⎢⎥ ⎝⎠ ⎝⎠⎣ ⎦ ⎣⎦ şi ţinem seama de forma inversei matricei de informaţie Fisher, stabilită anterior 2 ⎡⎤ σ 0 ⎢⎥ 1N− ⎢⎥ = I θ () 4 ⎢⎥ 2σ 0 ⎢⎥ N⎣ ⎦ 17 Cu acestea, matricea din corpul teoremei Cramer-Rao ce este pozitiv semidefinită ia forma 2 2Aσ ⎡⎤ ⎡⎤ 220T⎢⎥ ⎢⎥ ⎡⎤ θθ ∂∂⎡⎤ () () 12AANggσ − ⎢⎥ ⎢⎥ I θ =− () ⎢⎥ 2424⎢⎥ θθ ∂∂ ⎢⎥ ⎢⎥ σ 2Aσσ ⎣⎦ ⎣⎦ − ⎢⎥ 40⎢⎥ ⎣⎦ Nσ ⎣⎦ 2A⎡⎤ 22⎢⎥ ⎡⎤ 22AAσ =− ⎢⎥ 2⎢⎥ NNA⎢⎥ ⎣⎦ − 4⎢⎥ σ ⎣⎦ 24 2 4242AAαα =+=+ 24 NNNNσσ şi este un scalar Ca o concluzie, dispersia estimatorului pentru raportul semnal/zgomot satisface inegalitatea al cărui membru drept este CRLB 2 42αα+ ˆDispα ≥ {} 18 N 9 O transformare particulară, destul de des întâlnită, este transformarea afină definită prin relaţia +=αbAθ 111rprpr×××× Între matricele de covarianţă ale estimatorului vector pentru θ şi ale estimatorului vector pentru α se poate stabili o relaţie T ˆˆ ˆEE E=− C αααα − {}{} ()() {} ˆα T ˆˆ Aθ bAθ bAθ bAθb E=+ −−+−− ()() {} T ˆˆT AθθθθA − E=− ()() {} T ˆˆˆˆT AθθθθA − EE E=− {}{} ()() {} T AC A = 19 ˆ θ Dacă estimatorul vector pentru θ este eficient atunci şi estimatorul vector pentru α este eficient şi avem T ∂∂ θθ ⎡⎤ ()() 1gg− ˆDisp= αI θ {}() ⎢⎥ θθ ∂∂ ⎣⎦ Dar g∂θ () A = θ ∂ aşa că obţinem 1T− =CAIθA () ˆα Marginea inferioară Cramer-Rao pentru o repartiţie gaussiană generalizată Până acum am avut în vedere doar date ale căror eşantioane erau identic distribuite şi independente statistic (IID) Pentru astfel de date matricea de covarianţă este o matrice diagonală, de forma 2 ⎡⎤ 00 0σ 2⎢⎥ 000σ ⎢⎥ 2⎢⎥ 2 == 00 0uσσ xCI ⎢⎥ ⎢⎥ 20⎢⎥ 2 000σ ⎢⎥ ⎣⎦ 10 Vom discuta acum un caz mai general, în care eșantioanele de date pot fi corelate iar repartiţiile statistice nu sunt neapărat identice Matricea de autocorelaţie nu va mai fi diagonală iar valoarea medie poate diferi şi poate fi dependentă de parametrul vector necunoscut, aşa că ,xμθCθ∼N ()() () În literatura de specialitate se arată că pentru cazul parametrului necunoscut de tip vector, elementele matricei de informaţie Fisher se calculează cu relaţia T ⎧⎫ ⎡⎤ μθ μθCθCθ ∂∂ ∂∂ ()()()() ⎪⎪ 1111−−− ⎡⎤ ()tr a+ = I θC θC θC θ ()()()() ⎢⎥ ⎣⎦ ,ij⎨⎬ 2∂∂ θθ θθ ∂ ij ij ∂ ⎣⎦ ⎪ ⎪ ⎩⎭ Dacă parametrul necunoscut este un scalar, relaţia de determinare a informaţiei Fisher este 2T ⎧⎫ ∂∂ ∂ μμCθθ θ ⎡⎤ ⎡ ⎤ ()()() ⎪⎪ 111−− ()Itrb+ CCθθ θ = ()()() ⎨⎬ ⎢⎥ ⎢ ⎥ 2∂∂ ∂ θθ θ ⎣⎦ ⎣ ⎦ ⎪⎪ ⎩⎭ 21 Vom considera un exemplu simplu, în care semnalul util s[n;θ] este afectat de un zgomot alb gaussian, ceece înseamnă că eşantioanele de date x[n] sunt necorelate ; ; 0,1, , 1xn sn wn n Nθ=+ = − [][][] 2 ∼N 0,wnσ [] () Vectorul mediilor se determină imediat T ⎡⎤ =⋅⋅⋅−μ 0; 1; 1;ss sNθθθ θ () [][] [ ] ⎣⎦ Matricea de covarianţă a datelor x[n] este identică cu matricea de covarianţă a zgomotului, w[n], are formă diagonală şi nu depinde de parametrul necunoscut T Eθθθ=− −⎡⎤⎡ ⎤Cxμxθμθ () () () () () {} ⎣⎦⎣ ⎦ 2T Eσ= {} u== www C I Derivata matricei în raport cu parametrul necunoscut este, în consecinţă, nulă θ∂C () 0= 22 θ∂ 11 Deoarece parametrul este un scalar se aplică a doua formulă, (b), pentru determinarea informaţiei Fisher scalare 0; 1; 1;ss sNθθ θ∂∂ ∂− ⎡⎤ [][][] = Iθ ⋅⋅⋅ () ⎢⎥ θθ θ ∂∂ ∂ ⎣⎦ T 0; 1; 1;1ss sNθθ θ ∂∂ ∂− ⎡⎤ [][][] I ⋅⋅ ⋅⋅ 2u⎢⎥ θθ θ ∂∂ ∂ σ ⎣⎦ 2 1N− ;1snθ ∂ ⎛⎞ [] = ∑ 2⎜⎟ ∂ σ = 0nθ ⎝⎠ Dacă semnalul util nu depinde de un singur parametru necunoscut ci de mai mulţi, organizaţi sub forma vectorului θ, zgomotul rămânând alb, gaussian, adică x ; ; 0,1, , 1nsn wn n N=+ = −θ [][][] 2 0,wnσ ∼N [] () atunci vectorul mediei este T 23 0; 1; 1;ss sN=⋅⋅⋅− μθ θ θ θ ⎡⎤ () [][] [ ] ⎣⎦ Matricea de covarianţă va avea forma din cazul anterior, şi este independentă de parametrul vector necunoscut 2 ==CC I () wuθσ Se aplică acum prima dintre formulele de calcul indicate în literatura de specialitate pentru calculul elementelor matricei de informaţie Fisher,(a), şi obţinem 0; 1; 1;ss sN⎡⎤θθ θ ∂∂ ∂− [][][] = I θ ⎡⎤ () ⎣⎦ ,ij⎢⎥ θ ∂∂ ∂ ii iθθ ⎣⎦ T ⎤ ∂∂ ∂− 0; 1; 1;1ss sN⎡θθ θ [][][] I ⋅ ⎥ 2u⎢ ∂∂ ∂ θ σ ⎢⎥ jj jθθ ⎣⎦ 1N− ;;1sn sn∂∂θθ [][] = 2∑ ∂∂ σ 0nijθθ = 24 12 Considerăm că urmărim să estimăm dispersia unui zgomot alb, gaussian In acest caz modelul de date este 2 ; 0,1, , 1; 0,nwnn N wnσ==−x∼N [] [][] () Vectorul mediilor nu depinde de parametrul necunoscut 2T 00 0σ=⋅⋅⋅μ [] () dar matricea de covarianţă depinde de dispersie 22 =CI () uσσ Derivatele matricei de covarianţă şi ale vectorului mediilor sunt 22 Cμ σσ∂∂ ()() I 0== 22u ∂∂ σσ Parametrul necunoscut este unul singur şi deci se aplică a doua formulă, (b), pentru calculul informaţiei Fisher 2 ⎧⎫ ⎛⎞ 211 1N⎪⎪ II I ==== Itr trθ, θσ () {} ⎜⎟ 244uu u⎨⎬ σ 25222σσ ⎝⎠ ⎪⎪ ⎩⎭ În consecinţă dispersia de determinare a dispersiei zgomotului satisface inegalitatea 4 22σ ≥= CRLBDispσ {} N Vom discuta acum un exemplu puţin diferit Modelul de semnal este cel de componentă continuă necunoscută, A, dar care este o mărime aleatoare, în sensul că se poate modifica de la experiment la experiment Se presupune că are media nulă și se caută să se estimeze dispersia componentei continue Zgomotul ce afectează aditiv A este considerat a fi alb, gaussian, și statistic independent de variabila aleatoare A 2 ; 0,1, , 1; 0,xn A wn n N wnσ=+ = −∼N [][][] () 22 Aσ∼N0, σ= () AAθ După cum se poate vedea media datelor este nulă 0Exn EA wn EA Ewn=+ = + = {} [][][] {}{}{} 26 13 Elementele matricei de covarianţă a datelor se determină prin calcul direct 2 ⎡⎤ −− +−+− 11 1 1xi x j A wi A w jEEσ==C [][ ][][] {}()() {} () ,Aij⎣⎦ 2 + −+−− 1111AAwi Awj wiwjEE E E+− = [][][][ ] {}{}{} {} Atragem atenţia că indicii elementelor din matrice se numerotează cu 1, 2, N în timp ce indicii din semnal se numerotează cu 0, 1, N-1 fapt ce explică formula de calcul de mai sus Deoarece A şi w[n] sunt statistic independente avem 110EAwi EAEwi−=−= {} [][] {}{} Dacă ţinem seama şi de autocorelaţia zgomotului alb, gaussian 2 ⎧ = ⎪ 22, ijσ σδ −−= = = [][ ] {} ⎨ ,1, 111ijijEwi wjσδ −− 0, ij≠ ⎪ ⎩ obţinem 222 ⎡⎤ =+C σσδ () ,ijAAσ ,ij⎣⎦ 27 δi,j fiind simbolul lui Kronecker Forma explicită a matricei de covarianţă a datelor, dependentă de parametrul necunoscut este deci 22 2 2 2 ⎡⎤ + σ σ σ AAA Aσσ 2222 2⎢⎥ + σσ σ ⎢⎥ AA A Aσσ 2⎢⎥ 2222 2 C = () + σσ σ Aσ AAA Aσσ ⎢⎥ ⎢⎥ ⎢⎥ 222 22 + σσ σσ ⎢⎥ AAA Aσ ⎣⎦ 111 1 100 0⎡⎤ ⎡ ⎤ ⎢⎥⎢ ⎥ 111 1 0 1 0 0 ⎢⎥⎢ ⎥ 22 111 1 0 0 1 0σσ ⎢⎥⎢ ⎥ A=+ ⎢⎥⎢ ⎥ ⎢⎥⎢ ⎥ ⎢ ⎥ 111 1 0 0 0 1⎢⎥ ⎣⎦⎣ ⎦ 28 14 Definim vectorul coloană 1 ca fiind T 11 1=1 [] Se verifică, prin calcul direct, relaţia: 111 1⎡ ⎤ 1⎡⎤ ⎢⎥ 111 1 ⎢⎥ ⎥ 1⎢ T ⎢⎥ == 11 1111 1⎢⎥ 11 [] ⎢⎥ ⎢⎥ ⎢⎥ ⎢⎥ 1 ⎣⎦ ⎥ 111 1⎢ ⎣⎦ Matricea de covarianţă a datelor se poate pune sub forma 22 2T σ=+C11I () uAAσσ 29 În literatura de specialitate se găseşte aşa numita identitate a lui Woodbury pentru inversarea unei forme matriceale 1T− 1− AvvA 1T− +=− Avv A () 1T− 1+ vA v în careAeste o matrice iarveste un vector 1n× nn× Facem notaţiile 2 σσ==AI v1 uA şi aplicăm identitatea lui Woodbury Avem, succesiv 1− 12 2T− σσ=+CI11 ()() uAAAσσ 11T σσI11 I 22uuAA 1 σσ I −= 2u 1T σ +1I1 1σσ 2uAA σ 2T 11 1σ A−30 I = 2222uT +11 σσ Aσσ 15 Efectuăm produsul 1⎡⎤ ⎢⎥ 1 T 11 11 1N⎢⎥ == [] ⎢⎥ ⎢⎥ 1 ⎣⎦ şi obţinem pentru inversa matricei de covarianţă forma 2 ⎛⎞ 121TAσ − CI11 =− σ () 222uA⎜⎟ ⎜⎟ + σ ⎝⎠ ANσσ Derivatele implicate în formula de calcul a informaţiei Fisher sunt 2 ∂ () Aμσ 0= 2 ∂ Aσ 222TT∂∂ =+=C11I11 σσσ (){} 22uAA ∂∂ 31σσ AA Determinarea informaţiei Fisher implică calculul expresiei 2 2 Cσ ∂ ⎛⎞ () σ 121ATTA− C I 11 11σ =− ⎜⎟ () 22 22uA ⎜⎟ N∂+ σσ σσ AA⎝⎠ 2 1⎛⎞ TTTAσ 11 11 11 =− 222⎜⎟ ⎜⎟ +σσσ NN= A⎝⎠ 2 1N⎛⎞ TAσ 11 1=− ⎜⎟ 222 ⎜⎟ σσσ N+ A⎝⎠ 1 T 11 = 22 N+σσ A 32 16 Pătratul produsului se determină uşor 2 2 ⎡⎤ Cσ ∂ () 121ATT− ⎢⎥ C1111σ = () 22A 22⎢⎥ ∂ σ NA= N+ σσ () A⎣⎦ 11 1⎡ ⎤ ⎢⎥ 11 1N ⎥ ⎢= 2 ⎥ 22⎢ + () ANσσ ⎢⎥ 11 1 ⎣⎦ Urma matricei este N aşa că, în final obţinem 2 21N Iσ = () 2A 222 Nσσ + A 33() Dispersia estimatorului dispersiei componentei continue satisface inegalitatea 2 2^⎧⎫ ⎛⎞ ⎪⎪ 224σ 22Disp CRLBσσσ = > ⎨⎬ ⎜⎟ AAA≥+ N ⎝⎠ ⎪⎪ ⎩⎭ Comportarea asimptotică a limitei Cramer-Rao este uşor de stabilit 4 →∞ → 2, 2ANCRLBσ σ A Marginea inferioară Cramer-Rao asimptotică Notăm cu f frecvenţa digitală 11Ω ⎛⎞ ,f=∈− ⎜⎟ 222π ⎝⎠ măsurată în cicli/eşantion Funcţia de corelaţie este pereche Fourier cu densitatea spectrală de putere F rk P f↔ () 34[] xx xx 17 Se arată, în literatura de specialitate, că, asimptotic, putem determina elementele matricei de informaţie Fisher cu relaţia 1/ 2 ln ; ln ;Pf PfN∂∂θθ ()() xx xx df N≅→∞I θ; ⎡⎤ () ∫ ,ij⎣⎦ ∂∂ − 1/ 22ijθθ Vom exemplifica aplicarea formulei de mai sus pentru problema estimării frecvenţei purtătoare a unui semnal modulat, atunci când se cunoaşte densitatea spectrală de putere a semnalului util în banda de bază, Q(f) Semnalul modulat este afectat de un zgomot alb, gaussian Densitatea spectrală de putere a datelor este 22 Pff Qff Qff Pffσσ=−+−−+= +; ; ()()()() xx sscc c c 35 Dacă analizăm figura vedem că e neceră satisfacerea a două constrângeri 0, 5ff+≤ c 0ff−≥ 1c1 Parametrul necunoscut este frecvenţa purtătoare 0, 1/ 2fθ=∈ () c Dacă aplicăm relaţia asimptotică dată, obţinem pentru informaţia Fisher expresia 2 1/2 ln ;PffN∂ ⎤ () xxc⎡ () cIfdf= ⎢⎥ ∫ ∂ ⎣⎦ 1/22cf− Efectuăm calculul derivatei () ∂ 2ln ;xxcPff∂ ⎡⎤ +−−+ lnQf f Q f fσ ()( ) cc=− ⎣⎦ ccff∂∂ ∂−− () () ccQf f Q f f∂− + ccff∂∂ = 2 36 −+−−+ ()( ) ccQf f Q f fσ 18 Se poate verifica uşor egalitatea ln ; ln ;Pff Pff∂− ∂ ()() xx xxcc = ccff∂∂ Informaţia Fisher se pune sub forma 2 1/ 2 ln ;Pff⎡⎤ () xxc∂ () ⎢⎥ cIfN df= ∫ ⎣⎦ 0cf∂ Cu schimbarea de variabilă de integrare 'fff−= c avem '''Qf QfQf ff∂∂ ()() () ∂ c∂− ==− ∂ ''fff f∂∂ cc∂ 'dfdf= 37 Integrala ce dă informaţia Fisher devine 2 1/ 2f− c ∂ () 1'Qf⎡⎤ 'IfNdf= () ∫ 2c⎢⎥ ∂ ''fQfσ + () ⎢⎥ ⎣⎦ cf− Din condiţia ≤ 112cff+ rezultă că 1 2ff−≥ 1c iar din condiţia 0ff−≥ 1c rezultă că ff−≤− 1c ∈ ⎡⎤ 'Qf,'fff− Deoarece are suportul () 11⎣ ⎦ extinderea limitelor integralei la -0 5 și la 0 5 nu schimbă valoarea acesteia 38 19 In final rezultă 2 1/ 2 ∂ () 1Qf⎡⎤ If N df= () ∫ 2c⎢⎥ ∂ fQfσ + () ⎢⎥ ⎣⎦ 1/ 2− 2 1/ 2 ∂ 2⎧⎫ ⎡⎤ =+→∞ NQfdfNσ ln ; () ⎨⎬ ∫ ∂ f⎣⎦ ⎩⎭ 1/ 2− Pentru exemplificare considerăm o densitate spectrală de putere gaussiană 2 1f⎛⎞ ⎜⎟ − 2σ ⎜⎟ 1f⎜⎟ ⎝⎠ Qf eσ; () f= 2 pentru care 2 ⎛⎞ 1f⎜⎟ − ⎜⎟ 2Qffσ ∂ () f⎜⎟ ⎝⎠ e=− 2 ∂ 39fσ f Punem expresiile anterioare în formula asimptotică pentru determinarea informației Fisherșiobținem 2 ⎛⎞ /fσ ⎜⎟ 1/ 22f− fe⎝⎠ If N df N=→∞; () 242c∫ σ ⎛⎞ ⎡⎤ − 1/ 2/ffσ ⎜⎟ 2f− ⎝⎠ ⎢⎥ eσ + ⎢⎥ ⎣⎦ Dacă raportul semnal/zgomot este suficient de mare, expresia se poate încă simplifica 1/22 fN If N df N≅=→∞; () 42c∫ 12σσ 1/2ff− Putem concluziona că, pentru N suficient de mare, dispersia estimatorului pentru frecvența (digitală) purtătoare satisface inegalitatea 2 12σ ˆf ∞ Disp f N≥= CRLB; {} c → 40N 20